即時快訊
數產署表揚13家友善電商企業推動安心網購 Perky榮獲MUSE國際設計雙銀獎,女性營養品牌累積六項國內外肯定 金門酒廠「一穀作契」100%本土契作好品質 獲得農業部農糧署國產農糧原料酒推薦 「公益同行・原社共好」 29家績優合作社齊聚華山 公彩成果展現就業與福利新動能 孕育兆美元輝達的傳奇美式餐廳 創辦紀念座位牌保留至今 美國屋頂太陽能發電量近十年暴增近五倍 全球運動AI市場名單出爐 日本企業掛零歐美科技巨頭強勢壟斷 創投看好AI降低門檻 一人微型創業成美國就業新趨勢 年末聚會前的輪廓焦慮?醫師 : 「看不出做過」成自然美感新趨勢 印度航太新創搶攻火箭引擎商機 獲利基訂單拚太空產業分工
防範強大AI風險 Google DeepMind揭示控制路線圖
科技生活

·5 個月前·林昭衡
#Google DeepMind#AI安全#AI代理人#資安#控制路線圖
防範強大AI風險 Google DeepMind揭示控制路線圖
商傳媒|林昭衡/綜合外電報導
摘要

Google DeepMind 近日發布一份AI控制路線圖,旨在透過系統級安全措施及可信賴的AI監督者,監控並管理其強大AI代理人的行為,以防範潛在風險,強調AI安全正從哲學討論轉向資訊安全實踐。

Google DeepMind 近日發布一份 AI Control Roadmap(AI控制路線圖),旨在強化內部強大 AI 代理人的安全性與管理。這份藍圖強調,除了透過對齊(alignment,即訓練模型使其行為符合預期)來保障 AI 的方式外,還需增設系統級的安全機制,以全面防範潛在風險。

該控制路線圖的核心理念之一是透過可信賴的 AI 監督者,對 AI 代理人的推論過程、實際行動與執行計畫進行全面監控。這些控制措施將根據風險程度進行調整,對於低風險行為,可能僅需延遲審查;但對於具有潛在危險性的行動,則會實施即時阻擋。Google DeepMind 表示,此概念借鑒了資安領域的經驗,因為資安領域早已深知「即使是可信賴的系統,也可能遭受入侵」的教訓。

未來的 AI 代理人架構預計將結合多種安全元素,包括模型評估(model evals)、存取控制(access control)、稽核日誌(audit logs)、沙盒(sandboxing,即在隔離環境中執行)以及由 AI 監督其他 AI 的機制。為確保這些控制措施的有效性,Google DeepMind 也定義了具體的衡量指標:覆蓋率(監控的代理人流量比例)、召回率(捕獲不良行為的比例)以及反應時間(系統阻止不良行為的速度)。

此發展也反映了整個產業對 AI 安全的重視,例如 OpenAI 的 Dean Ball 已加入該公司,領導一個 Strategic Futures team(策略未來團隊),專注於前瞻 AI 政策的制定。這顯示 AI 安全的焦點正從抽象的哲學探討,轉向更具體的資訊安全實踐。


在 Google 搜尋的熱門報導中優先看到商傳媒
加入為 Google 偏好來源